STAR: Structured Tokenization and Target-Aware Interest Representation for PCVR Prediction
面向PCVR预测的结构化分词与目标感知兴趣表征STAR
🧭 工业推荐排序 · 序列-特征统一建模 ★ 深度解读
Tsinghua University · Peking University
STAR通过结构化特征分词、DIN式目标感知序列解码与加权InfoNCE对比目标，在PCVR排序上稳定提升AUC
📌 工作参考价值（5 点）
- 高基数稀疏特征别直接丢弃：频率 remap + 共享 unknown bucket + 序列哈希分支，让长尾 ID 重新进入模型；同时保留高频 ID 专属 embedding，可迁移到电商 user/item 长尾特征。
- 对行为序列做 target-aware decoding 而非全局 pooling：DIN 式 query 用 candidate item 与序列 token 的差/点积计算注意力，能更准提取与当前广告/商品相关的兴趣；公式（4-6）可落地。
- 训练加 InfoNCE 对比辅助目标，对 user-item 表示做 in-batch 对齐，提升排序 AUC 而非 LogLoss；适合推荐排序场景，注意温度与权重衰减。
- 稀疏特征中的零值需区分真实零与 padding/missing：加 non-zero mask、整数 ID 偏移，避免特征混淆；工程上要重建映射表保证 train/infer 一致性。
- 缩放容量优先加 hidden width 与 HyFormer block depth，而非 embedding 维度或稀疏参数量；embedding 扩增增益不单调且有成本。